課程資訊
課程名稱
深度學習之數學基礎
Mathematics in Deep Learning 
開課學期
109-2 
授課對象
理學院  數學研究所  
授課教師
黃文良 
課號
MATH5255 
課程識別碼
221 U8940 
班次
 
學分
3.0 
全/半年
半年 
必/選修
選修 
上課時間
星期四7,8,9(14:20~17:20) 
上課地點
天數102 
備註
總人數上限:40人 
Ceiba 課程網頁
http://ceiba.ntu.edu.tw/1092MDL 
課程簡介影片
 
核心能力關聯
本課程尚未建立核心能力關連
課程大綱
為確保您我的權利,請尊重智慧財產權及不得非法影印
課程概述

1. Mathematical model of neural networks and history of neural networks.
2. Why deep? Universality theorem for shallow/deep neural networks.
3. Optimization algorithms: back-propagation, block-coordinate descent
algorithms, un-rectifying algorithms, and target propagation.
4. Classification problem: dimension reduction methods, support vector machines
and kernel methods. Un-supervised learning and auto-encoder.
5. Generative Adversarial Network.
6. ResNet, Mobile Net, U-nets, and RNN.
7. Using DNN to solve problems: the inverse problem, the forward inference
problem, and the generalization. 

課程目標
待補 
課程要求
待補 
預期每週課後學習時數
 
Office Hours
 
指定閱讀
待補 
參考書目
: papers and free online courses at top universities. 
評量方式
(僅供參考)
   
課程進度
週次
日期
單元主題
第2週
3/04  McCulloch-Pitts Model and Rosenblatt's Perceptron 
第3週
3/11  Classification Tree and Random Forest 
第4週
3/18  Constrained Optimization 
第5週
3/25  Support Vector Machine 
第6週
4/01  Holiday 
第9週
4/22  Stochastic Gradient Descent 
第10週
4/29  The Unstable Gradient Problem 
第11週
5/06  Regularization of Weight Distribution 
第12週
5/13  Shallow/Deep NN Universality Theorem 
第13週
5/20  GAN (I) Generative Adversarial Nets 
第14週
5/27  W-GAN and Cutting Plane Methods 
第15週
6/03  Un-rectifying - replay non-linear with data-dependent linear 
第16週
6/10  Autoencoders, model-based unrolling 
第7-1週
4/08  Open Book Exam 
第7-2週
4/08  Kernel Method 
第8-1週
4/15  Unconstrained Optimization and Back Propagation Algorithm of DNN 
第8-2週
4/15  Issues Related to Back Propagation Algorithm